Tree of Clarifications: Answering Ambiguous Questions with Retrieval-Augmented Large Language Models

논문: https://arxiv.org/abs/2310.14696

초록

개방형 도메인 질문 답변의 질문은 종종 모호하여 여러 해석이 가능한 경우가 많습니다. 이를 처리하는 한 가지 접근 방식은 Stelmakh 외.(2022)에서 제안한 것처럼 모호한 질문(AQ)의 가능한 모든 해석을 식별하고 이를 모두 다루는 긴 형식의 답변을 생성하는 것입니다. 사용자에게 설명을 요구하지 않고 포괄적인 답변을 제공하지만, 모호함의 여러 차원을 고려하고 그에 맞는 지식을 수집하는 것은 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해 새로운 프레임워크인 ToC(Tree of Clarifications)를 제안합니다: 이 프레임워크는 외부 지식을 활용한 몇 번의 프롬프트를 통해 AQ에 대한 모호함의 트리를 재귀적으로 구성하고 이를 사용하여 긴 형식의 답변을 생성합니다. ToC는 여러 메트릭에서 몇 번의 샷 설정으로 ASQA의 기존 기준선을 능가하며, 전체 훈련 세트에 대해 훈련된 완전 지도 기준선(Disambig-F1 및 Disambig-ROUGE)을 능가합니다. 코드는 여기에서 확인할 수 있습니다.